Understanding Cognition-Induced Risks in Agentic AI Systems
理解智能体AI系统中认知引发的风险
🧭 Agent 认知风险分层与治理策略
Shanghai Artificial Intelligence Laboratory · The Chinese University of Hong Kong, Shenzhen · Tsinghua University
按物理、社会、自我指涉三层次认知框架，系统分析LLM智能体对人类能动性与控制权的风险及缓解策略
📌 工作参考价值（4 点）
- 在电商Agent（自动选品、生成广告文案、push消息推送）上线前，可按三层认知框架设计审计清单：物理层检查工具调用与API权限，社会层审查对用户意图的操纵与隐私风险，自我指涉层防止目标漂移或自修改配置，逐层分级放行。
- 将“人类能动性、自主性、控制能力”作为核心指标纳入Agent评估集与在线监控；对涉及用户情绪或社会影响的推荐文案、自动客服等场景，强制保留人类审批节点。
- 对具备长期记忆或自我修正能力的推荐Agent，设置自我指涉风险检查点：定期比对当前目标与原始业务目标，避免过度个性化导致的信息茧房或目标篡改。
- 架构上采用“最小权限+风险隔离”：Agent调用外部数据和服务时，按认知层级分配权限——物理层只给只读API，社会层需人工确认，自我指涉层禁止自动改写自身prompt或工具配置。